Participação e interdisciplinaridade: uma abordagem inovadora de meta-avaliação / Participation and interdisciplinarity: a groundbreaking approach of meta-evaluation

Apresenta-se meta-avaliação de processo avaliativo sobre moradias de pessoas com transtorno mental grave. A avaliação analisada articulou quatro áreas do conhecimento, objetivando inserir trabalhadores e pacientes na condução do processo. Privilegiamos a meta-avaliação dos aspectos 'interdisciplinaridade' e 'participação'. Utilizou-se a observação participante, entrevistas e grupos focais junto aos pesquisadores e trabalhadores. Concluiu-se efetiva realização de trabalho interdisciplinar e participação restrita a um dos três campos. Finalmente, identificou-se a pertinência da utilização de outros critérios para meta-avaliar além daqueles propostos pela Associação Americana de Avaliação.

We introduce meta-evaluation as a study of the evaluative process about homes of people with severe mental disruption. The assayed evaluation has articulated four knowledge areas, aiming to insert workers and patients into the conduction of the process. We favoured the meta-evaluation of the 'interdisciplinary' and 'participation' aspects. We used participating observation, interviews and focal groups along with researchers and workers. We conclude an effective achievement of interdisciplinary work and limited involvement to one of the three fields. Finally, we identify the pertinence of the use of other criteria to meta-evaluate beyond those proposed by the American Association of Evaluation.

Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva / Parameters and paradigms for meta-evaluation: an exploratory and reflective review

A avaliação da avaliação não é um simples jogo de palavras ou uma indagação sobre quem avalia a avaliação. Muito mais do que isso, trata-se de avaliar os diversos componentes de um processo avaliativo e os próprios avaliadores. No presente artigo, pretendemos abordar algumas possibilidades da meta-avaliação no campo da avaliação de programas e serviços: fomentar a interação entre a produção teórica e prática no campo; auxiliar no balizamento de métodos e estratégias em uma área marcada por interesses políticos e pela profusão de possibilidades metodológicas; e fomento do rigor ético e científico das práticas avaliativas. Concluiremos esta resenha exploratória da literatura discutindo algumas questões históricas e políticas envolvendo a avaliação e a meta-avaliação de programas e serviços, apresentando críticas às pretensões universalistas e igualitárias presentes em alguns posicionamentos.

The evaluation of an evaluation is not a mere play on words or simply an investigation into the person who evaluates the evaluation. It is far more than that. It is about how to evaluate the diverse components of the evaluation process and the evaluators per se. In this paper, we discuss some promising possibilities for meta-evaluation in the field of evaluation of programs and services. These include fostering interaction between theoretical and practical production in fieldwork and supporting the definition of methods and strategies in a sector imbued with political interests and a profusion of methodological possibilities, and promoting ethical and scientific rigor in the evaluation practices. We conclude this exploratory and reflective review by raising some historical and political questions related to evaluation and meta-evaluation of programs and services and by criticizing the universalist and egalitarian pretensions contained in some evaluation approaches.

La inclusión de la perspectiva de la sociedad civil popular en VIH/SIDA: sistematización de experiencias como enfermera en Brasil y Canadá / Inclusion of popular civil society perspective in HIV/AIDS: sistematization of experiences as a nurse in Brazil and Canada

La enfermera en Salud Pública tiene como misión movilizar las organizaciones de base de su país para implantar los programas de salud. Este trabajo implica un acercamiento que le permita captar el detalle de la realidad concreta, pero que sólo una cierta distancia crítica le permitirá situarlo en un contexto de significación global. Una sistematización de experiencias presenta la investigación evaluable comunitaria como una oportunidad metodológica para las ciencias de la salud en general y de enfermería. La perspectiva es especialmente pertinente para las prácticas profesionales de salud, específicamente en contextos imprevisibles y de conflictos de verticalidad sociopolítica entre los diversos actores implicados en un programa de salud pública. La inclusión en barrios periféricos y el trabajo con grupos comunitarios favorece la inclusión desde el punto de vista de la sociedad civil popular dentro de la evaluación de las acciones preventivas del Sida y de otros programas de salud pública.

Evaluation of STD/HIV/AIDS peer-education and danger: a local perspective / Avaliação de educação das DST/HIV/aids pelos pares e perigo: suma perspectiva local

An evaluation of peer-education projects with sex workers, men who have sex with men and marginalized adolescents, was introduced in a remote region of Brazil. The context of varied limits of predictability made it difficult to conduct inquiry. To go beyond available epidemiological surveys and questionnaires on sexual behavior, a self-evaluation aimed at increasing pragmatic knowledge about prevention in a challenging socio-political context. During five-months, a participatory-action research explored participant observation; individual and collective exchanges with users, peer-educators, coordinators, administrators, politicians and regional health professionals. Collective understanding of peer-education in prostitution zones underlines the reality of unforeseen social repercussions and confluence/divergence of multiple actors' perspectives. It identifies meaningful dimensions at a community-level, such as the collective history and dangerous working conditions. Nurses face complex struggles and negotiations over multiple actors in their practice. This study suggests that nurses have a role to play in the conceptualization of participatory evaluation. It also underlines the threats to their physical and social safety, which they might share with peer-educators.

Uma avaliação dos projetos de educação por pares com trabalhadores do sexo, homens que fazem sexo com homens e adolescentes marginalizados foi implantada numa região do interior do Brasil. Os diversos limites postos à previsibilidade tornaram difícil conduzir a investigação. Indo além das pesquisas epidemiológicas e questionários evolutivos sobre os comportamentos sexuais, esta auto-avaliação enfatiza o desenvolvimento de conhecimento pragmático sobre prevenção em um contexto sociopolítico desafiante. Durante cinco meses, uma pesquisa-ação explorou observação participante, entrevistas individuais e coletivas junto com usuários, pares educadores, coordenadores, administradores, políticos e profissionais da saúde. A compreensão coletiva da educação por pares em áreas de prostituição sublinha a realidade de repercussões sociais imprevistas e a confluência/divergência das perspectivas de diversos atores locais. A pesquisa identifica dimensões coletivas significativas como a historia coletiva e as condições de trabalho perigosas. As enfermeiras enfrentam complexas lutas e negociações com múltiplos atores no âmbito da sua prática. Este estudo ressalta o papel importante delas na conceitualização de avaliação participativa. O estudo também destaca as ameaças para a segurança física e social que as enfermeiras compartilham com os pares educadores.

O caso de uma comunidade avaliativa emergente: re-apropriação pelos pares-multiplicadores da apreciação de suas próprias ações preventivas contra DST/HIV/AIDS, Amazonas, Brasil / El caso de una comunidad evaluativa emergente: reapropiación por los pares-multiplicadores de la apreciación de sus propias acciones preventivas y sociales contra las ITS/VIH/Sida en Amazonas, Brasil / The case of an emerging evaluative community: peer multipliers' reappropriation of the assessment of their own preventive and social actions against STD/HIV/Aids, Amazonas, Brazil

Este artigo relata a sistematização de uma experiência de pesquisa avaliativa e participativa de um projeto de prevenção de DST/HIV/AIDS implantado nas zonas de prostituição de um município do interior do estado do Amazonas. Essa perspectiva de avaliação qualitativa enfatizou aspectos não considerados durante a implantação do projeto inicial, referentes à construção dos significados coletivos diretamente ligados à implantação da chamada educação pelos pares. O relato enfatiza a experiência comunitária dos pares-multiplicadores do projeto e sua apropriação da avaliação de suas ações preventivas e sociais. Os resultados e a discussão são apresentados numa dupla perspectiva: 1 da seqüência dos questionamentos temáticos que emergiram no percurso da pesquisa-ação participativa no campo; e 2 das práticas de investigação avaliativa desenvolvidas num dado contexto sociocultural e sociopolítico.

This paper reports on the systematization of an experience of evaluative and participative investigation relating to a DST/HIV/Aids prevention program that was implemented in the red-light zones of a remote municipality in the State of Amazonas. This perspective of qualitative evaluation emphasized issues that were not considered at the time of initially implementing this project among sex workers, relating to the dimensions of the constructions of collective meaning that were directly linked to the implementation of peer-based education. We have focused on this experience of community investigation with peer multipliers for the project and the reappropriation of the evaluation of their preventive and social actions. The results and discussion are presented as a double prism: 1 the sequence of "emerging" thematic questioning over the course of the participative action/investigation in the field; and 2 the pragmatic practices of the evaluative investigation within the sociocultural and sociopolitical context.

Este artículo relata la sistematización de una experiencia de investigación evaluativa y participativa de un proyecto de prevención de las ITS/VIH/Sida implantado en las zonas de prostitución de un municipio del interior del estado de Amazonas, Brasil. La perspectiva de evaluación cualitativa ha enfatizado aspectos que no fueron considerados en la implantación del proyecto inicial, referentes a la construcción de los significados colectivos directamente unidos a la implantación de la educación por los pares. El relato enfatiza a experiencia comunitaria de los pares-multiplicadores del proyecto y su reapropiación de la evaluación de sus acciones preventivas y sociales. Los resultados y la discusión se presentan en un doble prisma: 1 de la secuencia de los cuestionamientos temáticos que emergieron en el campo, y 2 de las prácticas de investigación evaluativa desarolladas en un determinado contexto sociocultural y sociopolítico.

Cuando la comunidad guía la acción: hacia una evaluación comunitaria alternativa / When community guides action: until an alternative community evaluation

Cuando los modelos habituales de evaluación de programas son utilizados irreflexivamente en la evaluación de la acción comunitaria, ellos pueden privilegiar una visión de control social que olvida y oculta la realidad vivida por los grupos evaluados. 1. Los instrumentos de esta desposesión de derechos pueden ser ideologías exportadas como productos universales. 2. El peso del acto concreto es crucial para afirmar la realidad que se pretende modificar. 3. Las retóricas científicas ocultan la realidad vivida por los sectores sociales con menos poder. 4. Las responsabilidades éticas y políticas de la evaluación comunitaria exigen que los planes de intervención sean conocidos, comprendidos y asumidos por todos los que deberán vivir con las consecuencias del cambio intentado.

When habitual models of program evaluation are used unreflectively for the evaluation of community action programs, they can focus exclusively on administrative accountability. 1. This limitation of participation can be due to the latent ideologies exported as universal products. 2. Understanding the concrete acts performed underlines the concrete reality of the situation that the project aims to modify. 3. Scientific discourses can obscure the life experiences of the relatively powerless social sectors. 4. Ethical and political responsibilities demand that intervention plans be known, shared and accepted by all those who will have to live with the intended and unintended consequences of the attempted social change.

Community health nursing practices in contexts of poverty, uncertainty and unpredictability: a systematization of personal experiences

Several years of professional nursing practices, while living in the poorest neighbourhoods in the outlying areas of Brazil's Amazon region, have led the author to develop a better understanding of marginalized populations. Providing care to people with leprosy and sex workers in riverside communities has taken place in conditions of uncertainty, insecurity, unpredictability and institutional violence. The question raised is how we can develop community health nursing practices in this context. A systematization of personal experiences based on popular education is used and analyzed as a way of learning by obtaining scientific knowledge through critical analysis of field practices. Ties of solidarity and belonging developed in informal, mutual-help action groups are promising avenues for research and the development of knowledge in health promotion, prevention and community care and a necessary contribution to national public health programmers.

Muitos anos de prática profissional em enfermagem, vivendo nas vizinhanças mais pobres de áreas distantes da região Amazônica brasileira levaram a autora a desenvolver uma melhor compreensão das populações marginalizadas. O cuidado às pessoas com lepra e trabalhadores do sexo de comunidades ribeirinhas tem sido realizado em condições de incerteza, insegurança, imprevisibilidade e violência institucional. A questão levantada é como podemos desenvolver práticas de enfermagem na saúde da comunidade neste contexto. A sistematização de experiências pessoais baseadas na educação popular é usada e analisada como uma maneira de conhecer e obter conhecimento científico através da análise crítica das práticas da área. Laços de solidariedade e pertencimento desenvolvidos em ações de grupos informais de ajuda mútua são caminhos promissores para pesquisa e desenvolvimento do conhecimento em promoção a saúde, prevenção e cuidado à comunidade e uma contribuição necessária para os programas de saúde pública nacional.

Varios años de prácticas profesionales de enfermería, viviendo en los distritos más pobres de las áreas periféricas de la región amazónica de Brasil, llevaron o autor a desarrollar una mejor comprensión de poblaciones marginalizadas. La provisión de cuidados a personas con lepra y trabajadores del sexo en comunidades ribereñas ha sido llevado a cabo en condiciones de incertidumbre, inseguridad, imprevisibilidad y violencia institucional. Se pregunta como podemos desarrollar prácticas de enfermería en salud comunitaria en este contexto. Una sistematización de experiencias personales basada en educación popular es usada y analizada como un método de saber, obteniendo conocimiento científico mediante un análisis crítico de prácticas en el campo. Lazos de solidaridad y pertenencia desarrollados en grupos de acción informales, de ayuda mutua son caminos prometedores para la investigación y el desarrollo de conocimiento en la promoción de la salud, prevención y atención comunitaria y una contribución necesaria a programas nacionales de salud pública.

Discovering popular education in professional community health care practices

Exploring the relationship between popular education and health care as regards to public and community health nursing, a case is made that popular education is more than a pedagogical approach to teaching. Following an inductive strategy, experiential vignettes of the author’s practices and commitments in impoverished Brazilian populations are systematized to identify contributions of popular educationin health care. Experiential learning leads to a preferential option for the poor, a reduction of power inequalities between program agents and the people, the use of Observe-Judge-Act methodology and a theory that is realistic in terms of possible changes of consciousness. Popular education fosters both the emergence of tacit nursing care actions and includes those of voiceless populations living in poverty...

Explorando a relação entre a educação popular e os serviços de saúde, quanto à enfermagem pública e comunitária, é permitido mostrar que a educação popular é mais que uma abordagem pedagógica de ensino. Seguindo uma estratégia indutiva, vinhetas que ilustram as práticas e compromissos da autora em populações brasileiras empobrecidas são sistematizadas com a finalidade de identificar as contribuições da educação popular no cuidado à saúde pública. A aprendizagem experiencial leva a uma opção preferencialpelos pobres, uma diminuição das desigualdades de poder entre os agentes dos programas e a população,ao uso da metodologia Observar-Julgar-Atuar e de teoria que é realística em termos de possíveis mudançasde consciência. A educação popular fomenta ao mesmo tempo a emergência de tácitos cuidados de enfermagem e inclui os das populações sem-voz, vivendo na pobreza...

La exploración de la relación de la educación popular y los servicios de salud en materia de enfermería en salud pública y comunitaria permite mostrar cómo la educación popular es algo másque un enfoque pedagógico en la enseñanza. Siguiendo una estrategia inductiva, viñetas que reflejan lasprácticas e implicaciones de la autora en poblaciones brasileñas marginales son sistematizadas con el fin de identificar las contribuciones de la educación popular a la salud pública. El aprendizaje vivencial realizado orienta a una opción preferencial por los pobres, una reducción de las desigualdades de poder entre los agentes de los programa y la población, el uso de la metodología de Ver, Juzgar, Actuar, y, de una teoría realista respecto a los posibles cambios de conciencia de los que viven en la miseria...